package com.crawler.api;

import com.crawler.model.CrawlerRequestInfo;

public interface CrawlerRemover {
    /**
     * 需要过滤掉的请求
     * @param crawlerRequestInfo
     * @return
     */
    boolean filter(CrawlerRequestInfo crawlerRequestInfo);

    void clearRemover();

    int getUrlNum();
}
